Simulation of a Hard-Spherocylinder Liquid Crystal with the pe

The pe physics engine is validated through the simulation of a liquid crystal model system consisting of hard spherocylinders. For this purpose we evaluate several characteristic parameters of this system, namely the nematic order parameter, the pressure, and the Frank elastic constants. We compare these to the values reported in literature and find a very good agreement, which demonstrates that the pe physics engine can accurately treat such densely packed particle systems. Simultaneously we are able to examine the influence of finite size effects, especially on the evaluation of the Frank elastic constants, as we are far less restricted in system size than earlier simulations

A Scalable and Modular Software Architecture for Finite Elements on Hierarchical Hybrid Grids

In this article, a new generic higher-order finite-element framework for massively parallel simulations is presented. The modular software architecture is carefully designed to exploit the resources of modern and future supercomputers. Combining an unstructured topology with structured grid refinement facilitates high geometric adaptability and matrix-free multigrid implementations with excellent performance. Different abstraction levels and fully distributed data structures additionally ensure high flexibility, extensibility, and scalability. The software concepts support sophisticated load balancing and flexibly combining finite element spaces. Example scenarios with coupled systems of PDEs show the applicability of the concepts to performing geophysical simulations.Comment: Preprint of an article submitted to International Journal of Parallel, Emergent and Distributed Systems (Taylor & Francis

Direkte numerische Simulation von partikelbeladenen elektrokinetischen Strömungen auf Hochleistungsrechnern

Particle-laden electrokinetic flows occur in a wide range of industrial and medical processes. Notable applications include electrostatic filters, drug administration via the respiratory system, and manipulation and actuation of biological particles and liquids in lab-on-a-chip systems. These electrokinetic flows comprise fluid flow, charged objects, and electric fields. The complex interplay of these effects makes calculations and predictions of electrokinetic systems difficult, especially for the large numbers of particles typically involved. Computer simulations have become a powerful means to predict, analyze, and optimize the behavior of complex processes and systems. Nevertheless, the development of models and algorithms for multiphysics simulations that incorporate and couple multiple physical effects remains a challenging task. Moreover, multiphysics simulations of realistic scenarios with up to millions of interacting particles often require parallel supercomputers. In this thesis, efficient algorithms for physically accurate, massively parallel multiphysics simulations of particle-laden electrokinetic flows on advanced high performance computers are presented. These fully parallelized, coupled algorithms are implemented within the software framework WALBERLA in a modular fashion. The modular software design ensures flexibility in the coupling of different algorithms, and extensibility for the implementation of more detailed or additional models. Excellent computational performance and parallel scalability are achieved by a careful parallel implementation and performance optimizations. For direct numerical simulations of fluid-particle interactions, a lattice Boltzmann algorithm modeling the fluid flow is coupled to a computational model of rigid body dynamics for geometrically fully resolved particles. The coupled electric effects are modeled by electric potentials represented by a finite volume discretization on a mesh conforming to the lattice Boltzmann grid. For solving the electric potential equations and elliptic partial differential equations modeling other physical effects, WALBERLA is augmented by efficient parallel iterative solvers and by new boundary condition handling functionality. The coupled models and their implementation are systematically validated, and the correctness of the overall multiphysics algorithms for electrokinetic flows with charged or uncharged particles in the presence or absence of ions in the fluid is verified. Moreover, the fluid-particle interaction is validated for spherical and elongated particles, and the tumbling motion of spherocylinders in the viscous flow regime is examined. In the validation experiments, the influence of several simulation parameters on physical accuracy is studied. Benchmark scenarios demonstrate the suitability of the different multiphysics algorithms for real-world applications. To show the outstanding parallel performance of the algorithms for the simulation of millions of charged particles in fluid flow, their parallel scaling and numerical efficiency are analyzed on an advanced supercomputer.Partikelbeladene elektrokinetische Strömungen treten in einer Vielzahl von industriellen und medizinischen Prozessen auf. Wichtige Anwendungsfelder sind elektrostatische Filter, die Verabreichung von Medikamenten über die Atemwege und die Manipulation und der Transport biologischer Partikel und Flüssigkeiten in Lab-on-a-Chip Systemen. Diese elektrokinetischen Strömungen beinhalten Fluidströmungen, geladene Teilchen und elektrische Felder. Das komplexe Zusammenspiel dieser physikalischen Effekte macht genaue Abschätzungen und Vorhersagen des Verhaltens solcher Systeme schwierig, insbesondere für die typischerweise große Zahl der darin enthaltenen Partikel. Computersimulationen haben sich zu einem mächtigen Hilfsmittel zur Vorhersage, Analyse und Optimierung des Verhaltens komplexer Prozesse und Systeme entwickelt. Dennoch stellt die Entwicklung von Modellen und Algorithmen für Multiphysik-Simulationen, die verschiedene physikalische Effekte koppeln, bis heute eine Herausforderung dar. Darüber hinaus werden für Multiphysik-Simulationen realistischer Szenarien mit bis zu mehreren Millionen sich gegenseitig beeinflussender Partikel häufig parallele Höchstleistungsrechner benötigt. In dieser Arbeit werden effiziente Algorithmen für physikalisch genaue, massiv parallele Multiphysik-Simulationen partikelbeladener elektrokinetischer Strömungen auf modernen Hochleistungsrechnern vorgestellt. Diese voll parallelisierten, gekoppelten Algorithmen sind modular im Software-Framework WALBERLA implementiert. Das modulare Software-Design gewährleistet Flexibilität in der Kopplung verschiedener Algorithmen, sowie Erweiterbarkeit um detailliertere oder weitere Modelle. Ausgezeichnete Rechenleistung und parallele Skalierbarkeit werden durch eine sorgfältige parallele Implementierung und Performance-Optimierungen erreicht. Für direkte numerische Simulationen von Fluid-Partikel-Interaktionen wird ein Lattice- Boltzmann-Algorithmus zur Modellierung von Fluidströmungen an ein Rechenmodell für die Starrkörperdynamik geometrisch vollaufgelöster Partikel gekoppelt. Die daran gekoppelten elektrischen Effekte werden durch elektrische Potentiale modelliert, die durch eine Finite-Volumen-Diskretisierung auf einem mit dem Lattice-Boltzmann-Gitter übereinstimmenden Netz repräsentiert werden. Zum Lösen der Gleichungen für die elektrischen Potentiale und von elliptischen partiellen Differentialgleichungen für andere physikalische Effekte, wird WALBERLA um effiziente parallele iterative Löser und um neue Funktionalität zur Behandlung von Randbedingungen erweitert. Die gekoppelten Modelle und deren Implementierung werden systematisch validiert, und die Korrektheit der gesamten Multiphysik-Algorithmen wird für elektrokinetische Strömungen mit geladenen oder ungeladenen Partikeln in An- oder Abwesenheit von Ionen im Fluid verifiziert. Ferner wird die Fluid-Partikel-Interaktion für kugelförmige und langgestreckte Partikel validiert, und die taumelnde Bewegung von Sphärozylindern im viskosen Strömungsbereich untersucht. In den Validierungexperimenten wird der Einfluss verschiedener Simulationsparameter auf die physikalische Genauigkeit untersucht. Anhand von Beispielszenarien wird die Eignung der verschiedenen Multiphysik-Algorithmen für reale Anwendungen demonstriert. Um die hervorragende parallele Leistung der Algorithmen zur Simulation von Millionen geladener Partikel in Fluidströmungen zu zeigen, wird deren parallele Skalierbarkeit und numerische Effizienz auf einem modernen Supercomputer analysiert